Grounding of Language in Sensorimotor World Interaction of a Humanoid Robot, using Neural Networks

Abstract Symbol systems provide techniques to emulate processes of the human mind, such as abstract reasoning, natural language and problem solving, in artificial intelligent agents. To purposefully employ these techniques in artificial agents, however, these symbols need to be grounded, i.e. the agent must be able to connect a symbol to its real world referent and vice versa. Marocco et al. (2010) [11] proposed a method that uses neural networks to ground symbols in the sensorimotoric experience of a humanoid robot. After training, the networks were capable to identify three different situations and utter a corresponding proto-word. We tried to employ the proposed method on a different humanoid robot, NAO. In the process, we identified and investigated the parameters that influence the stability of the proposed method and the quality of its results.Symbol systems provide techniques to emulate processes of the human mind, such as abstract reasoning, natural language and problem solving, in artificial intelligent agents. To purposefully employ these techniques in artificial agents, however, these symbols need to be grounded, i.e. the agent must be able to connect a symbol to its real world referent and vice versa. Marocco et al. (2010) [11] proposed a method that uses neural networks to ground symbols in the sensorimotoric experience of a humanoid robot. After training, the networks were capable to identify three different situations and utter a corresponding proto-word. We tried to employ the proposed method on a different humanoid robot, NAO. In the process, we identified and investigated the parameters that influence the stability of the proposed method and the quality of its results. Zusammenfassung Mit Hilfe von Symbolsystemen können Prozesse des menschlichen Geistes, wie abstrakte Betrachtung, natürliche Sprache oder strukturierte Problemlösung, von künstlichen intelligenten Agenten nachgeahmt werden. Jedoch erfordert eine sinn volle Implementation dieser Techniken, dass die verwendeten Symbole hinreichend fundiert werden, was bedeutet, dass der Agent in der Lage sein muss, die Verbindung zwischen den abstrakten Symbolen und realen Entitäten herzustellen und nachzuvollziehen. Marocco et al. (2010) [11] haben eine Methode vorgestellt, mit der man unter Verwendung von neuronalen Netzen eine solche Fundierung von Symbolen in der sensorimotorischen Wahrnehmung eines humanoiden Roboters durchführen kann. Diese Netze waren nach dem Training in der Lage, drei Situationen voneinander zu unterscheiden und mit der Ausgabe eines entsprechenden Proto-Wortes zu reagieren. Wir haben versucht, diese Methode auf einem anderen Roboter, NAO, anzuwenden, und gleichzeitig untersucht, welche Parameter maßgeblichen Einfluss auf die Stabilität des vorgestellten Mechanismus’ und die Qualiät der Resultate haben.